Support-Vector Networks
概述 (50-200字符)
支持向量机奠基性论文,由Corinna Cortes和Vladimir Vapnik于1995年发表于Machine Learning期刊。首次将SVM从线性扩展到非线性(核技巧),确立最大间隔分类理论。
关键内容 (≥300字符, 用双链)
- 历史背景:1990年代神经网络陷入梯度消失、过拟合困境。Vapnik在贝尔实验室提出从统计学习理论出发直接推导最优分类器,而非在巨大函数空间中盲目搜索。
- 核心贡献:在VC维理论框架下,证明最大化分类间隔的分类器泛化能力最强。提出硬间隔SVM(线性可分)和软间隔SVM(含噪声,引入松弛变量ξᵢ和参数C)。
- 核技巧引入:将低维非线性不可分数据映射到高维空间,在高维中线性可分。关键突破:无需显式计算φ(x),只需替换内积xᵢ·xⱼ→K(xᵢ,xⱼ),实现非线性分类。
- 历史影响:1995-2012年间统治机器学习领域,在手写数字识别(MNIST)、文本分类、生物信息学、图像识别等领域超越当时最好方法。深度学习崛起前最强分类器。
- 数学优雅性:凸优化保证全局最优解,支持向量可解释,预测公式:ŷ=sign(Σᵢ αᵢyᵢK(xᵢ,x)+b),仅依赖支持向量。
来源
- raw/articles/ai-papers/machine-learning/03_svm_1995.md — Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine learning, 20(3), 273–297.
相关
- 支持向量机 — implements
- 核技巧 — extends
- VC维理论 — depends_on
- Vladimir Vapnik — authored_by
- Corinna Cortes — authored_by